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Abstract 


The graphical representation system uses a binary image of the handwritten character to provide a contour 
representation, the graphical representation provided by a number of graphs each formed by nodes and 
lines. The contour lines are projected onto a number of fixed axes with the definitive position points of the 
polygonal trace determined by the significant local maxima of the projection curve for each axis. 
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8 verwendet, das aus verschiedenen Modulen besteht Die 

Die vorliegende Erfindung betrifft das Gebiet der au- ? Ule be L reffen dabei Bildvorverarbei- 

tomatischen Bilderkennung! insbesondere die Erket K?^^ VOn Gra Ph™rk- 

3 V °" l Ch D riften ' V ° r allem von handgescSiebenen 5 Re^bS^^^^^ ™ einer 
WorternundBuchstabea reoenen 5 Keferenzbibhothek, die eigentliche Zeichenerkennune 

AUgemein ist die Erkennung von handgeschriebenen fSnZS T dw Ze } che ^^S gelie 

Schnf en erne schwierigere Aufgabe, als die ErkennZ kei en ™ 2 , h,agsbsten ' wobei Wortglaubwiirdig- 

von Maschinenschrift In beiden Fallen geht es Xr 5X ' We I deiL 

dings urn die Klassifizierung von ObieLn mit bede, " ° rU ?, dSit2,,ch , 1St das erfindungsgemaBe Verfahren 

»nS^- d d£~ Bi,dd — - - " 

^^^^^^ 15 e^*""^ 

&n»^^L^ . emes B " rbildes durch u 

Job und Matrixverfahren. Eine kuri ObSS?S£; 20 me ^Sche K °" tU ™ dierun g reprasentierte geo- 

das Gesamtgebiet ist in dem Artikel "Document anaE ^^^Iime des Binarbildes gem. Fig. 2; 

& ist auch bereits bekannt, nicht unnit£lb£ von der „ sen^ion^rR 6 ""^.^ 016 "^ 131616 der Linienrepra- 
Bmardmtellung der Bildvorlage, sondern von einer S^^^Iiofen.ndKwtn.L 
Konturbeschreibung auszugehen. Eine solche Kontur- ^^""p^Phreprasentation; 
beschreibung i st z. B. aus dem Artikel "General Tf. ? , Struktur e > n er Graphmenge; 

structure for i mage analyses baseTon 'a d^criplfo Ko^fur ™ Ma ^P-Windung einer 

connected components", computing 42, S 17-34 fl98<» „ ra. o-i- o • l. 

bekannt Aus diesem Dokument ist auch bereiL be PoS™ BeZlehun g ™i"*e n Maximalpunkten und 
kannt, die Konturlinien durch Unienorientierte BiHori ^yS° na PPr°™?n einer Kontur. 
mmve d.LdurchPolygone.zuapproximfeS 6 P ProzeSmoduS T 0b ? rs jF ht ,^ die verschiedenen 
. Aus der Druckschrift JAK.UB SEGEN "Model Lear- ste^ fT™^ ^Jniterkennungssystems darge- 
nmg and Recognition of Nonrijnd ObS tffp » Erkennbar ist, daB es sich bei der Schrifterken- 
597-602 (1989) ist bereits die Rep Lmiio zwe^N * ZlT^T M^piozess handek, bei dem aus- 
mens.onaler Objekte durch eine Menge lokafer Featu- un5 i£ I m - ^ 6106 ° ptische Abtasteinrichtung 
res bekannt Als lokales Feature wird fin lokales Extre t u " d _ einer a " sc WieBenden Bildvorverarbeitung geliefer 
mum der Knimrnung einer zweidimensionS Kur^e SeSS? Sc ^ bi] ^ ^ verschiedL Ver- 
herangezogen. Andere Typen lokaler Features sindTe M Sn J,l ? ™w6rterbuch mit Glaubwurdig- 
maB d.esem Dokument Wendepunkte, gerade Linfen Em Svste™ Z IT ^.^gsklassen erzeugt wird. 
und Kreissegmente. Hiervon ausgehend wird vo^ie fahi*e?K? w** I ™ d vorzu S sw <*e als echtzeit- 
schJagen, eine Hierarchie von Gestakprimitiven zu kon- bei h Jl 'P'^orterkennungssystem verwendet Da- 
struieren, nut dem Ziel, allgemeine Formen durch euie Hand^hrS i k P .*«e Auspragungen von freier 
Menge von Beziehungen zwischen lokalen Feature? zu « J S J' 7 ^ Han dbIockschrif t mit isolier- 
charakterisierea features zu 45 ten Kleinbuchstaben" iiber die verschiedenen Misch- 

Die Aufgabe der vorliegenden Erfindung ist es, ein SLth? "y°» st ^ di g gebundener Schreibschrift 
Verfahren zur Erzeugung einer Graphreprasentation kJebte iTh t 'lr f Maschinenschriftfonds und ver- 
von B.ldvorlagen anzugeben, wobei jeder Graph aus ren \t£ ubhchen Schriftsegmentierungsverfah- 
Knoten und Unien, z. B. reprasentiert als PoSzuge „ cL d £ r u^Tu^ Maschinenschriftfonds. 
besteht uiygonzuge, ^ Grundsatzhch ist jedoch dieses System auch fur die Er- 

der Bildvorlage. ^eprasentation 55 nchtung geheferten Abbild 10 erfolgt in der Bildvorver- 

, Weitere vorteilhafte Ausbildungen der Erfindune nZh^Jlf™ Ra " schve ™gerung, bei der das Bi- 

sind in den Unteranspruchen sowi! der Beschreibunf che^eife Sn m ™r ^ Schriftbi]de ™ erfolgt ubli- 

und den Zeichnungen zu entnehmen. DescnmDun S ™ eis f eine Identifeerung und Isolierung von signi- 

Das erfindungsgemaBe Verfahren ist vorzugsweise m hwt h ayou j- EIem A e " ten . wie z. B. AdreBzeichen. An- 

Bestandteil eines Systems, bei dem au gehend von et vorzuSweiT^"? 6 Abstraktion d « «^e S 14 erzeugt, 

nem durch einen optischen Scanner erzeugten Abbfld de M -f S f '? S ™ L Lin ^^eprasentation des BU- 

der Budvorlage und der nachfolgenden EiSwSS ?„* m anSchheBend ein « Graphreprasentation 16 sowie 

Binarbildes der Bildvorlage bei verschied^nSCk T Norm,erun g. auf derGraphebene 17. 

tionsstufeneineBUdbearbdtungerfoK^eS" M G ranh?T Tlt^ Schritt Werden die g loba1 ^ 

stem wird z. B. in automatische ^AnscLtenlesern oder "'V 8 ^i 511 " 111111 insbes °ndere erfolgt eine 

Beleglesern eingesetzt nrteniesern oder Partitionierung der Graphen 19 und eine merkmalsge- 

Das Verfahren wird vorzugsweise in einem System » "! Redukt '°, n der aus ein em Gesamtworterbuch 

n einem System 22 gewonnenen Worter mit nachfolgender Filterung 24, 
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diemitteJseinesTeilw6rterbuchs26gesteuertwird Hwmn *™ u ^- 

Bel der eigentlichen ZeichenerkLung 28 £rden £ d dure d " Me £2" ^ U ™ 

Bedeutungsklassen gefunden, die durch ein oder mehre Zi£ £ Merkmale der ersten und zweiten Kon- 
re Graphmodelle reprasentiert werdea denen ™ der V" 16 - ""J* 16 ? ^ der Lbie und ^* cn " 

Auswertung 34 Wortglaubwiirdigkeiten zugeo^dne , Kin K t ^ ^! den Linden beschrie- 

werden. Das Ergebnis des Gesamtprozesses ist ein^eil Y Posiri™ ri "ir * Wird durch die Merk ™'e X- und 

worterbuch, mit den einzelnen wLern zugir^eten UurTl £° DtUr P unk tes und W^el der Tangen- 

GlaubwGrdigkeiten zugeoroneten te durch diesen Konturpunkt charakterisiert 

Fig. 2 zeigt ein Binarbild einer handgeschriebe^n n^lZ ^ es J chneben ^ Linienreprasentation des 
Ziffer 4. In diesem Beispiel werden d?e lESte £ ,„ ^ ? wesentlichen du "* Linien- 

quadratische Flachenelemente reprLntierJ deren clSSS^ ^ ? V ! rbindun ^truktur dieser 

Kantenlange die Einheitsmenge ist z'ur BesSbungln S DwSSj^^^iSf^* 81 ^ 3US 

emem kartesischen Koordinatensystem wird erundsltz hL ?f ? n ° ch das Binarbl I d rekonstruieren. Fur 

lich zwischen den Eck- and pffi^TSS tl^fS^ 8 * ^ ™ kom P^tere Be- 

= (1,1), E 4 - (0,1> Die Pixelkoordinat^' indi^ieren die 3 LiSS^eSS^^"^ Schriftbildes in der 

e.nzelnen Bildpunkte. Z. B. hat der BOdpunkt in der ,„ ^ ^ M der daraus gewonnenen 

linkenunterenEckedieKooniinatenP « (om 2 ° £"Pj™P rt ^ aus Linien- 

Binarbilder konnen durch Linien- und Kno engebiete ffiJ^^V™ 1 St0tz P unkten und ™ Knotenge- 

gebiet 40 Jedes Liniengebiet weist eine SeSe 1 * ^S^S^^T"^ T 
und erne Lmienseite 2 auf. Eine Linien- und KnotenL kZ7^ , bt ?? head aus Graphen 1 bis P, die jeweiis aus 
bietrep^taynlo^nm^mittebeinert^i^ SaSebauS" ^^^^ aus Punk- 
rung erhalten, d e auf dem RasterchainroHo mr aurgeDaut sind. 

basiert und den Verhuf3^SSSSS SSSSS ™ m ,n£ f"" H iera ^bene wird die Graph- 

emes Schwarzgebiets der BiiidaSShmg bescS, 3 ° Z Tn™ ^ * Dimension «**hrieben. 

Diese Codierung beschreibt jedes zusaTmeESde ^ ?* Unte ™ erkmale X " und Y - Koor - 

Schwarzgebiet durch eine Liste von £SC tt und Hoh h l^t un ! schreibe ^en Rechtecks, Brei- 
die die absoluten Richtungen right, up left down de^ mT.? £ deS Koordinaten des Rechteck- 

Bildpunktkanten einer Kontur emhalten' „ S H 0W1 ? die Gesamtlange der zur Graph- 

v Hg. 4 zeigt fQr das Binarbiid der Fig. 3 die durch eine S^tt ^ ^ au ^ eist 
Konturcodierung erhaltene geometrische oSnTe .,nS ^ vorzugsweise durch die Merkmale: 
Bei einem beliebigen Biid ist ef m^tl2Z£™n 7^^IT^ ^ Koor - 

der Kontur die Flachen der einzeben Schwarzgebiete Shm^ v u ^ umschreib ^den Rechtecks der 
die Anzahl der konkaven und konvexen Ec™dfr Kon M v^w7 g ' Verbl " dun g en zu ^"ien und Knoten und 
tur und das umschreibende Rechtecl^ ^ allrlchwaSge-" *° S kSS SS"^ Gra P he " ch - akt -siert 
bietezubestimmen. S . ^ ^°ten wrd vorzugsweise durch die Koordina- 

Zusammen mit lokalen Merkmaien der Kontur wer- dSlb^nH^^S^.^ die Verbindu *gen ^ 
den diese globalen Merkmale benutzt um DnienhTOo F ; ^ g r ehenden n b eschr.eben. 

Lmienhypothesen die Knotengebiete schon bekannt r J, 1 , . S Rechteck der Lime, akkumulierter 

^^JsdieGebiete.diewL^Li^ih^ halbde™ ' ^'f* Lage der ^ !nner - 

r . Fig. 5 zeigt die zum BinSrbild der Fig. 2 geh6renden k TJS^Z S re * < ! nden R ? chtecks des Graphen, Win- 

Lmien und Knotengebiete. Generell wird du?5 Xs Senlnd^ott^rT'"^^ Verbind T ZU den bei " 

eme kompiexe, hierarchiche Struktur aus Knoten und 50 Verbbdun, p, ^ ^ "otwendigerweise die 

Linien und gleichen Konturelementen reprStien Fin • ? ^ a " f d,eserLinie - 

Die oberste Hierarchieebene bildet eine SreSbung m ? b 2 7 vorzugsweise durch folgende Merk- 

Ebene der Hierarchie bilden. Von der L^ie Sesteht Ober durch " L ^bkt S sowie gegebenenfalls 

die Endkonturelemente Zugriff auf die ge amte ^Kontur 60 S WeSnSh S«tateBenpunkte approxi- 

beschreibung beider Seiten der Linie. In Fig. 3 5nd die Z\ ^ °[- daS e 0 rfindun ^gemaBe Verfahren 

Endkonturelemente mit SI 1, S12, S21 und S22 Srlede mlfn , dlCSer Statz stellenpunkte aus Maxi- 

Linie bezeichnet S 2 Wr Jede ma ' punk en der Kontur, die durch Projektion auf vorge- 

Als globale Merkmale zur Bildbeschreibung werden in*™ AChSe " Crhalten Werdca 

vorzugsweise Hohe und Breite JKSSlS 65 JrdT^r^T A ^^S^ m der Erfindung 

des Wortbildes verwendet Zur Beschreibung der Zo 7^^ ^^^ aUS der Iangeren der bei " 

ten werden X- und Y-Koordinaten des Umfafgsschwer- S^T " emeS Llnien g ebie ^ bestimmt. In einer 

punktes und die Ordnung des Knotens d , <£tSl An'Sl^ einer 
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Im folgenden wird am Beispiel der Fig. 8 die Approxi- 
mation durch Maximalpunkte der Kontur genauer be- 
schrieben. In Fig. 8 ist der Rand eines Schwarzgebietes 
vereinfacht als kontinuierliche Kurve dargestellt Die 
Kurve wird generell auf eine vorgegebene Anzahl von 
Achsen mit jeweils unterschiedlichem Winkel a gegen- 
Qber einem vorgegebenen festen kartesischen Koordi- 
natensystem projiziert Fig. 8 zeigt die Situation verein- 
facht lediglich filr eine Projektion auf die X-Achse. Es 
sei S der beliebige Startpunkt fur die Suche der Maxima. 
Dann wird die Kurve durchlaufen und dabei eine Pro- 
jektion auf die X-Achse gebildet Beim Durchlaufen der 
Kurve variiert der Wert fur die Projektion entspre- 
chend. In der resultierenden Projektionskurve auf die 
X-Achse werden die lokalen Maxima gesucht In Fig. 8 
erhalt man an den Punkten A und C lokale Maxima, an 
den Punkten B und D lokale Minima. 

Ein Minimum der Projektion auf eine X-Achse ent- 
spricht offensichtlich einem Maximum der Projektion 
zu einer Achse, die gegeniiber der X-Achse um 180° 
gedreht ist 

Eine Kontur weist Qblicherweise kleine lokale 
Schwankungen auf. Um zu verhindern, daB dadurch zu 
viele unsignifikante Maxima bzw. Minima erhalten wer- 
den, werden nur signif ikante lokale Maxima gesucht Als 
Kriterium hierfQr wird auf beiden Seiten eines Maxi- 
mums jeweils ein Minimum gefordert, das einen Min- 
destabstand zum Maximum besitzt Beispielsweise wird 
in Fig. 8 das relative Maximum bei A nur dann als signi- 
fikantes Maximum akzeptiert, wenn die Differenzen 
a — d und a — b eine bestimmte Schwelle uberschreiten. 
Entsprechend ist b nur dann ein Minimalpunkt, wenn 
sowohl a — b als auch c — b diese Schwelle uberschreitea 

Allgemeiner kann auch die Bedingung bestimmt wer- 
den, daB ein Maximum dann signifikant ist wenn es links 
und rechts von der Position des Maximums Projektions- 
punkte gibt, die mindestens um eine vorgegebene Diffe- 
renz 8 tieferliegen, und wenn es das hochste lokale Ma- 
ximum in dieser Umgebung ist Dies fiihrt dazu, daB 
lokale Schwankungen der Kontur, die kleiner als der 
Wert 5 sind, bei der Polygonapproximation ignoriert 
werden. Vorteilhaft ist es, 6 proportional zur Wurzel der 
mittleren Strichdicke zu wahlen. 

Bei der praktischen Implementierung des Verfahrens 
braucht nicht immer uberpruft zu werden, ob z. B. auf 
beiden Seiten eines Maximums ein Minimum liegt Tat- 
sachlich genugt die Uberpriifung der im Umlaufsinn 
nachfolgenden Seite, da Minima- und Maximawerte ab- 
wechselnd auftretea Allerdings miiBten beim ersten po- 
tentiellen Maximalpunkt beide Seiten uberpruft wer- 
den. Daher wird der erste gefundene potentielle Maxi- 
malpunkt ignoriert und die Suche nach Maximalpunk- 
ten nach einem ganzen Umlauf um die Kontur bis zum 
ersten tatsachlich gefundenen Maximalpunkt nach dem 
Anfangspunkt S weitergefuhrt werden. 

Statt auf die X-Achse, kann die Projektion natiirlich 
auch auf Achsen beliebiger Richtung erfolgen. Beson- 
ders vorteilhaft ist die Verwendung von mehreren Ach- 
sen der Neigung 0,45°, 90° und 135° bzw. ein System 
von acht festen Achsen mit jeweils gleicher Winkeldiffe- 
renz. Dadurch wird die Kontur als Folge von Maximal- 
punkten verschiedener Projektionsachsen beschriebea 

Fig, 9 zeigt den Zusammenhang zwischen den Maxi- 
malpunkten und der Polygonapproximation. Ersichtli- 
cherweise wird durch Verbinden der auf der Kontur 
aufeinanderfolgenden Maximalpunkte ein Polygonzug 
erzeugt, der eine Approximation des ursprunglichen Bil- 
des liefert 



Die gesamte Graphmenge wird aufbauend auf der 
Linienreprasentation des Bildes rekursiv erzeugt Hier- 
zu wird zunachst eine neue Menge angelegt Fiir alle 
noch nicht benutzten Knotengebiete gilt: 

5 

1) Beginne einen neuen Graphen. 

2) Lasse den Graphen rekursiv wachsen. Durchflu- 
te dabei die verbundenen Linien- und Knotenge- 
biete und lege innen entsprechende Linien und 

io Knoten fiir die Graphbeschreibung an. Alle ver- 
bundenen Linien und Knoten werden =- zu einem 
Graphen zusammengefaBt 

Im folgenden werden die Linien- und Knotengebiete 
15 als L-Linien und L-Knoten bezeichnet, die Entsprechun- 
gen der Graphenbeschreibung als G-Linien und 
G-Knoten. 

Im Schritt 2) wird der neue Graph so lange erweitert, 
bis von alien verbundenen L-Linien bzw. L-Knoten eine 
20 korrespondierende Version von G-Linien und G-Kno- 
ten filr den Graphen erzeugt worden ist: 

— Markiere, daB der aktuelle L-Knoten benutzt 
worden ist 

25 — Erzeuge den entsprechenden G-Knoten. 

Fiir alle L-Linien, die vom aktuellen L-Knoten ausge- 
hen: 

30 — Erzeuge eine entsprechende G-Linie, falls sie 
nicht schon von einem anderen G-Knoten aus er- 
zeugt worden ist 

— Erzeuge einen Verweis von der G-Linie auf den 
G-Knoten und umgekehrt 

35 

Fur alle L-Linien, die vom aktuellen L-Knoten ausge- 



— Gehe zum L-Knoten am anderen Ende der L-Li- 
40 nie. Falls dieser L-Knoten noch nicht als benutzt 
markiert worden ist, fuhre die gleiche Prozedur mit 
diesem L-Knoten als aktuellem Knoten aus. 

Nach Ausfiihrung der bisherigen Verfahrensschritte 

45 wird die Bildvorlage durch eine Graphmenge durch 
Knoten, Linien und Stiitzstellenpunkten reprasentiert 
In einem weiteren Schritt konnen die entstandenen 
Graphen noch einmal transformiert werden, insbeson- 
dere um den ErkennungsprozeB bei ganzen Worten im 

so Gegensatz zu Einzelzeichen zu erleichtern. Hierzu wird 
die Representation des Graphen derart geandert, daB 
die Stutzstellenpunkte der Polygonapproximation als 
Knoten zweiter Ordnung dargestellt werden. Daher 
wird in dieser transformierten Graphreprasentation ei- 

55 ne LLnie mit Stiitzstellenpunkten ersetzt durch eine ho- 
mogene Struktur mit abwechselnden Linien und Kno- 
ten. Dies kann rekursiv erfolgen analog zur Vorgehens- 
weise, wie sie bei der ursprunglichen Graphreprasenta- 
tion aus den Ergebnissen der Linienreprasentation an- 

60 gewandtwird. 

Die Ausfiihrung des erfindungsgemaBen Verfahrens 
erfolgt durch ein Computersystem, das zumindest eine 
Einrichtung zum Anlegen und zur Speicherung von Da- 
tenstrukturen aufweist, mit denen die oben beschriebe- 

65 ne Linienreprasentation der Fig. 6, bestehend aus Li- 
nien- und Knotengebieten sowie der Verbindungsstruk- 
tur dieser Gebiete, reprasentiert wird, sowie einer Ein- 
richtung zum Speichern einer Datenstruktur, durch die 
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die Graphreprasentation der Fig. 7 reprasentiert wird 
bestehend aus Graphen, die jeweils aus Kiioten und 
Linien bestehen, wobei Ietztere aus Punkten aufgebaut 
sind. Vorzugsweise werden dabei die Elemente der Li- 
men bzw. Graphreprasentation als Objekte im Sinne ■ 
der objektonentierten Technologie aufgefaBt Daruber " 
hinaus sind bei dem Computersystem eine Einrichtung 
zur Erzeugung von Binarbildern aus den Signalen einer 
optischen Abtastvorrichtung sowie weitere Vorrichtun- 
gen zur Weiterverarbeitung der Graphreprasentation , 0 
vorgesehen, wie in Fig. 1 dargesteUt ist 

Patentanspriiche 

1. Verfahren zur Erzeugung einer Graphreprasen- ,« 
tation von Bildvorlagen wobei aus einem Binarbild 
der Bildvorlage eine Konturdarstellung erzeugt 
wird, die Graphreprasentation aus einer Menge 
von Graphen besteht und jeder Graph aus Knoten 
und Lnuen besteht, dadurch gekennzeichnet, da3 20 
eine Projektion der Konturlinien auf eine vorgege- 
bene Anzahl von festen Achsen erfolgt und die 
Stutzstellenpunkte der Polygonzuge aus den signi- 
fikanten Iokalen Maxima der Projektionskurve je- 
der Achse bestimmt werden. 25 
2 Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Projektion der langeren der bei- 
den Konturlinien eines Liniengebiets der Kontur- 
darstellung verwendet wird. 

3. Verfahren nach Anspruch 2, dadurch gekenn- 30 
zeichnet, daB die Projektion der Mittelachse der 
beiden Konturlinien eines Liniengebiets der Kon- 
turdarstellung verwendet wird. 

4. Verfahren nach einem der Anspruche 1 bis 3 
dadurch gekennzeichnet, daB ein System von Ach- 35 
sen mit gleicher Winkeldifferenz vorgesehen ist 

5. Verfahren nach einem der Anspruche 1 bis 4 
dadurch gekennzeichnet, daB bei der Bestimmung 
der Iokalen Maxima lokaJe Schwankungen der 
Konturlinien kleiner als ein vorgegebenes 5 igno- 40 
nen werden. 

6. Verfahren nach einem der Anspruche 1 bis 5 
dadurch gekennzeichnet, daB die Graphreprasenta- 
tion zur Bildspeichemng verwendet wird. 

7. Verfahren nach einem der Anspruche 1 bis 6 45 
dadurch gekennzeichnet, daB die Graphreprasenta- 
tion in einem Bilderkennungssystem, insbesondere 
zur Erkennung von Script-Schriften verwendet 
wird. 
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